Classmethod AI Talks(CATs) #1 『Zennへのスパム投稿が急増したのでLLMでなんとかした話』を開催しました。 #catalks

Classmethod AI Talks(CATs)

#LLM

#Zenn

#Google Cloud (GCP)

#Gemini

#Claude

しんや

2024.09.20

先日2024年09月19日(木)、クラスメソッド発の生成AIコミュニティとして始動した「 Classmethod AI Talks」(略称CATs) の記念すべき第1回イベントを開催致しました。

登壇者各位による「登壇レポート」についてはそれぞれ公開・共有がある予定ですが、イベント企画・運営側として、コミュニティマネージャー・スタッフ側の記録としてイベント開催にまつわる記録などをそれぞれまとめてお届けしたいと思います。

イベント開催概要

コミュニティ「Classmethod AI Talks(CATs)」の成り立ちについては下記エントリをご参照ください。

当日のイベントページ(Doorkeeper)についてはこちらをご参照ください。

イベントの記録

ここからは当日のイベントに関する各種記録をご紹介します。

登壇資料(スライド・ブログ)

登壇者資料

この日の登壇者：dyoshikawa | DevelopersIOさんの発表スライドは以下です。

また、登壇ブログも合わせて公開しています。

司会進行資料

当日の司会進行に用いたスライドは以下です。なお、司会進行は谷内美紀子(愛犬"ぶり"の飼い主)さんに御担当頂きました。ありがとうございました！

登壇動画(YouTube Liveアーカイブ)

イベント当日はオンライン配信をYouTube Liveで行っていました。

アーカイブ動画は以下から視聴可能です。

X投稿

イベント当日に投稿されたXのまとめについてはTogetterでまとめています。

https://togetter.com/li/2436862

質疑応答

当日の質疑応答についてはSlidoを用いました。

https://www.slido.com/

当日挙がった質問とその回答(要約)

当日Slido上で頂いた質問、及びその質問に対する回答、やり取りは以下の通りです。(動画内容からの文字起こし＆抜粋)

Q. セッション途中、「猫の俳句」って出てきましたがどんな内容のものだったんですか？テストをしたら満足行く結果を得られた...みたいなくだりがあったと思うのですが。
- A. (該当箇所を探す... ClaudeのJSON出力に関するところと特定し)あー、これですね。Ahtdopic社Claudeの公式ドキュメントに書いてあったものです。自分も正直詳細については把握していません(笑)
Q. テスト用のデータはどのように用意しましたか？実際にスパム報告されたデータを用いたのでしょうか？生成AIアプリケーションの評価用データをどう用意するのかというのも重要なトピックだと思うので、参考にさせていただきたいです。
- A. 自分もあまりやり方がこなれてはいなくて手探りでやった部分もあったんですけど、実際に"スパムコンテンツだ"というデータも使いましたし、"スパム投稿のステレオタイプ的なデータ"も自作して対応したりしました。
Q. そもそものZennでスパム投稿が急増した原因について、何か分析した結果や推測したものとかはありますか？
- A. スパム投稿の内容的には特定のURLに(アクセスを)誘導するようなものが多かったので、1人でも多くの人にそのページにアクセスさせてアフィリエイト報酬を期待したのかなぁ...というのはあるかもと思いました。
Q. プロンプトの調整において、特に効果的だった工夫などはありますか？
- A. いわゆる「偽陽性」(今回の件で言えば、本当はスパムと判定して欲しくないんだけどスパムとして判定されてしまう)となるケースを減らすために、ネガティブプロンプト(AI画像生成技術において、望ましくない要素を画像内に描写しないようにするための指示文章)みたいなやり方を採り入れたりはしていました。こういうものをスパムと判定して欲しい、とする一方でこういうものはスパムじゃないよ、と明示的に指示するという感じです。
- A. 一方で、あんまり細かく指定対応しすぎると、スパムのやり方、手口自体時代とともに変わってくることに対して対応しきれなくなってくるとも思うので割とLLMに任せる、ゼロショットっぽくお願いしたほうが、勝手にLLM側で応用・適応してやってくれるんじゃないかなぁ、と思っています。
Q. スパム検出以外に、ZennでLLMを活用できそうな機能はありますか？
- A. まず考えられるのは(Zennで言えば)記事執筆のサポートとかだと思うんですが、あまりLLMを使って記事を「乱造」してしまうようなことになるとコミュニティの寿命的に
  好ましくないかな、というのは思っています。あくまで人間が主体となって記事を書く。そこに対して誤字脱字を指摘するとか、技術的な誤りの可能性みたいなところを検証してもらうといった補助的な役割を果たしてもらうのが良いんじゃないかなと思っています。